🌟 Kimi-Audio: открытая модель для аудиозадач.

Kimi-Audio — инструктивная модель с 7 млрд. параметров, разработанная командой MoonshotAI, которая объединяет распознавание речи, анализ аудиоконтента и генерацию ответов в реальном времени в единую архитектуру. Модель показала SOTA-результаты на множестве аудиобенчмарков, от распознавания речи до эмоционального анализа.

Архитектура Kimi-Audio — это 3 компонента:

🟢Гибридный токенизатор, который преобразует аудио в дискретные семантические токены (12.5 Гц) через векторное квантование и дополняет их непрерывными акустическими признаками из Whisper.

🟢Модифицированная LLM (на базе Qwen 2.5 7B) с общими слоями для мультимодальных данных и раздельными «головами» для генерации текста и аудио.

🟢Детокенизатор на основе flow matching и BigVGAN. Он превращает токены обратно в звук с задержкой менее секунды благодаря чанковому потоковому декодированию и look-ahead механизму.

Отдельного внимания заслуживает пайплайн обучения, к нему команда разработки подошла ответственно и скрупулезно: 13 млн часов аудио были обработаны через автоматический конвейер, включающий шумоподавление, диаризацию и транскрипцию.

Для повышения качества сегменты объединялись по контексту, а транскрипции дополнялись пунктуацией на основе пауз. После предобучения на задачах ASR и TTS модель прошла этап SFT на 300 тыс. часов данных (развернутые диалоги и аудиочаты).

В тестах ASR Kimi-Audio показала: WER 1.28 на LibriSpeech test-clean против 2.37 у Qwen2.5-Omni. В аудиопонимании она лидирует на ClothoAQA (73.18) и MELD (59.13), а в классификации сцен (CochlScene) показывает 80.99 — на 17 пунктов выше ближайшего соперника. В диалогах модель близка к GPT-4o (3.90 против 4.06 по субъективной оценке).


📌 Лицензирование кода : Apache 2.0 License.

📌 Лицензирование модели: MIT License.


🟡Модель
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #KimiAudio #MoonshotAI

🔥 На видео 32-летний Янн Лекун демонстрирует первую в мире сверточную нейронную сеть (CNN) для распознавания текста в 1993 году .

📅 Когда появились традиционные методы обработки изображений:

Традиционные (или классические) методы начали развиваться с 1960-х годов, а активно применяться — с 1970–1980-х, задолго до появления современных нейросетей.

✔️ К таким методам относятся:

- Фильтрация изображений (Гаусс, Собель, Лаплас и др.)

- Детектирование границ (Canny, Prewitt)

- Морфологическая обработка (эрозия, дилатация)

- Бинаризация, сегментация, пороговая фильтрация

- Шумоподавление, выделение контуров

📍 К 1990-м эти техники уже активно использовались в промышленности, медицине, военной технике и OCR (распознавании текста), например в факсах и сканерах. Именно в этом контексте и появлялись первые попытки заменить часть ручной обработки нейросетями, как сделал Лекун с CNN.

Всем продуктивного дня ☀️

@ai_machinelearning_big_data

Тра файл: мужик через GPT-4o составил текст извинения своей девушке, но слишком сильно доверился ИИ — забыл удалить одну строчку.

Комментарий: произошёл фейл 💀

✔️ Google запускает фонд для стартапов.

Google анонсировала AI Futures Fund — программу для поддержки ИИ-стартапов. Участники получат ранний доступ к моделям DeepMind (Gemini, Imagen и Veo). Кроме технологий, стартапы смогут консультироваться с инженерами и исследователями Google, а также получат облачные кредиты для обучения и масштабирования решений. Уже сейчас с фондом работают проекты из разных сфер: индийский Toonsutra внедряет Gemini для перевода комиксов, Viggle экспериментирует с генерацией мемов, а платформа Rooms тестирует интерактивные 3D-пространства.

Программа открыта для стартапов из регионов, где доступен Gemini. Подать заявку можно на сайте фонда. Участники смогут претендовать не только на технические ресурсы, но и на прямые инвестиции от Google.
blog.google

@neural

🤖 В конце мая в Китае стартуют первые бои гуманоидных роботов

Человекоподобные машины сойдутся в схватке под управлением операторов. Бои начнутся через неделю и будут транслироваться по национальному ТВ.